LLM Agent 不确定性量化：分类法、评估协议与实证研究
🧭 Agent 轨迹级不确定性与校准 ★ 深度解读
Trinity College Dublin, Ireland · University of Texas Health Science Center at Houston, USA · University College Dublin, Ireland · Northeast Forestry University, China
提出三轴分类法与轨迹级校准指标 TC-ECE，揭示 Agent 步级校准无法推出轨迹级校准
📌 工作参考价值（4 点）
- 在构建推荐/搜索 Agent 时，不要只监控最终答案置信度；在 planning、retrieval、tool call 每个步骤输出 confidence，并在轨迹检查点评估 TC-ECE。尤其在多步召回/排序/重写流程中，早期错误会累积，需要 mid-trajectory 干预信号。
- 不要把每步置信度相乘作为整体可靠性：步骤间相关性会导致低估或高估，建议拟合轨迹级校准器或使用生存因子 q_t，并对前缀可靠性分层监控。
- 多 Agent 协作（如 query 理解、召回、排序、出价等模块）中，相似训练历史导致相关性错误共识；需要加权仲裁，保留不同意见，不能简单平均。
- 论文发现 Agent 自述置信度不一定可靠，建议与简单基线（如 step-index）对比；部署前离线用真实轨迹校验。
GUT：基于图复杂度量化与优化 LLM 推理不确定性
🧭 LLM 推理不确定性量化与优化
National Key Laboratory for Novel Software Technology, Nanjing University · School of Intelligent Science and Technology, Nanjing University
用有向无环图表征推理分支，以图复杂度量化推理不确定性并通过强化学习降低不确定性。
📌 工作参考价值（4 点）
- 在 Agent 多步规划或推理场景中，对同一输入采样多条推理链构建 DAG，用图复杂度（节点/边/分支比）作为不确定性分数，可触发重试、请求用户澄清或降低自动决策阈值。
- 将“负不确定性”作为奖励信号加入 RLHF/DPO 等优化流程，能训练模型生成更聚焦、更少发散的推理路径，适用于需要稳定输出的推荐解释、搜索 query 改写等场景。
- 图结构相比单链采样更能捕获分支覆盖，可作为在线评估指标，监控生成式推荐/Agent 的推理稳定性，及时发现漂移。
- 该方法属于通用推理层优化，不依赖具体业务数据，但落地时需重新定义领域图结构与复杂度度量。
用草稿模型门控预测编程智能体失败的不确定性
🧭 LLM Agent 执行前失败预测门控 ★ 深度解读
Tel Aviv University · IITU
用小型草稿模型对智能体轨迹做投机打分，在动作执行前门控拦截，降低错误率与成本
📌 工作参考价值（4 点）
- 对调用黑盒 LLM API 的 Agent 工具链（如 SQL 查询、搜索 API、广告投放 API），可以在不加 logits 的情况下做执行前拦截：用一个小型开源草稿模型对已生成的思维-动作轨迹做 teacher-forced 前向，提取 surprisal / gap / entropy，再接线性 calibrator 预测下一步工具调用是否会成功。
- 特征工程上务必把 reasoning span 和 action/tool-call span 分开统计。论文显示二者熵分布相反，混在一起会抵消失败信号，phase-aware 特征带来 +5–6 AUROC。电商 Agent 里常见的“先分析再调接口”结构可以直接复用。
- 用 veto gate 替换 execute-fail-retry 循环：失败概率高时不执行、注入 replan hint 重新生成，能减少 14–19% token 成本、6–8pp 执行错误率，适合对成本敏感、工具调用昂贵的场景；但要注意 false veto 可能轻微拉低端到端成功率。
- 草稿模型在一个开源 Agent 轨迹上蒸馏后，可迁移到闭源 Agent（如 Claude），因此多模型/多供应商共存的推荐或电商 Agent 平台，可以训练一个通用不确定性打分器。
从序列到结构：LLM Agent 的关系型不确定性传播
🧭 LLM Agent 轨迹级不确定性量化 ★ 深度解读
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences
将 Agent 执行轨迹建模为关系图并传播不确定性，提升长程任务失败检测与提前干预能力
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 的多步工具调用链中，可把轨迹建成关系图，重点监控 repetition、feedback conflict、goal drift 等边类型，形成失败预警信号；这比只看 token entropy 更能提前发现连环错误。
- 图构建采用轻量规则 + embedding/tool signature 匹配 + lexical cues，不增加大模型调用成本；可在搜索/推荐助手中实时识别 error、empty observation、重复 action 等，触发降级、重试或人工接管。
- 不确定性引导采样策略可落地：每步生成多个候选 action/query，选择 RUPA 风险最低者执行，适用于商品搜索、参数补全、推荐解释生成等需要抉择的场景。
- 论文的 entropy-matched 分析表明，即使单步置信度相近，轨迹结构信息仍有区分度；因此推荐/搜索 Agent 可把轨迹图风险作为排序或策略选择的额外特征，而不是只依赖单步 model confidence。
被忽视的免费午餐：LLM Agent 的进展优势
🧭 Agent 过程评估 · 优势函数 ★ 深度解读
University of Wisconsin–Madison · Argonne National Laboratory
从 RL 后训练中直接提取策略与参考策略的对数概率比作为隐式过程奖励，无需训练专用奖励模型。
📌 工作参考价值（4 点）
- 零成本过程评估：直接使用 RL 微调后 checkpoint 与其参考 checkpoint（如 base 模型）的 log概率比作为每步动作的进展优势，可替代昂贵且难以泛化的过程奖励模型训练，适合电商场景下多轮对话、工具调用等 agent 轨迹的实时监控。
- Best-of-N 采样提升成功率：在需要探索温度高、重试多次的任务（如对话式客服、复杂搜索流程）中，使用进展优势对候选轨迹评分并选择最佳轨迹，可显著提升任务完成率，实验在 τ2-Airline 等 agent 基准上超越专门训练的奖励模型。
- Agent 轨迹不确定性量化：将轨迹级进展优势作为成功的预测信号，可在无额外训练下准确判断 agent 交互是否可能失败，用于风险控制或在线干预；实验在多个模型上 AUROC 达 0.865，优于置信度基线和预训练 PRM。
- 故障步骤定位：在多智体或工具调用链条中，通过最小化每步进展优势来定位导致失败的关键步骤，辅助线上问题诊断和信用分配，几乎达到专门训练方法的精度。
多任务贝叶斯上下文学习
🧭 摊销贝叶斯推理 · 先验自适应上下文学习
New York University · NYU Langone Health
将先验信息表示为上下文数据集前缀，训练Transformer快速适应不同先验的贝叶斯预测推理
📌 工作参考价值（4 点）
- 在推荐系统中，利用类似上下文学习机制快速适应新的用户群体或变化偏好：将少量历史交互作为上下文示例，模型动态调整预测分布，无需微调。
- 为推荐模型提供轻量级的不确定性量化：预测分布可直接用于探索-利用决策，提升数据效率。
- 将用户/物品元特征或领域知识构造为先验前缀，使模型在推理时即插即用适应新场景，缓解冷启动与分布偏移问题。
- 工程上可作为元学习组件嵌入现有多任务推荐管道，只需增加少量上下文 token 开销，实现快速任务适应。
带有动作条件保证的共形风险规避决策
🧭 共形预测与风险规避决策
引入动作条件共形预测，为每项决策动作提供显式安全保证，提升风险规避决策可靠性
📌 工作参考价值（4 点）
- 推荐系统中的 risk-averse 场景（如高价值用户触达、推送时机选择）可借鉴动作条件保底思想：对每个候选动作（推送/不推送）单独构建共形预测集，避免因边际保证导致某些动作下风险失控。
- 多智体动作选择中，可为每个 agent 的动作输出附带安全区间，防止某个动作因不确定性极高而拖垮整体收益，尤其适合电商广告自动出价等需要逐动作风险控制的决策。
- 工程实现上 pinball loss 最小化为共形预测提供了一种无需重训练的有限样本算法，可直接集成到现有 ML pipeline 的后处理中，降低落地成本。
- 在生成式推荐的候选集过滤阶段，用动作条件的 coverage 保证替代全局 top-k 截断，能提升对长尾商品/新商品的探索安全性，平衡收益与风险。
面向多模态检索增强生成的可学习不确定性量化
🧭 多模态RAG · 不确定性量化
Radboud University · German Research Center for Artificial Intelligence (DFKI)
提出LeMUQ，通过分析输入扰动下的token概率信号来量化多模态RAG的不确定性，AUROC平均提升3.8%
📌 工作参考价值（3 点）
- 输入扰动策略（去除图像/检索上下文）生成多视角概率信号，再通过微调模型集成这些信号，可用于电商多模态RAG系统的答案置信度估计，辅助拒识或人工审核。
- 将 token 概率编码为特殊概率 token 的设计可迁移至生成式推荐的不确定性建模，例如为 Semantic ID 序列生成添加置信度 token 以控制多样性。
- 方法对检索噪声鲁棒，跨检索器泛化实验表明适合电商搜索增强的问答，能缓解错误检索导致的不可靠回答。
跨用户生命周期的不确定性感知自适应推荐
🧭 不确定性感知推荐 · 用户分群差异化策略 ★ 深度解读
Stanford University · TikTok Inc.
用辅助 Critic 网络预测预期预测误差 + 贝叶斯先验方差，实现低活用户去偏与高活用户 UCB 探索的统一框架
📌 工作参考价值（4 点）
- 轻量级不确定度量：训练一个辅助 Critic 网络，输入原始特征+推荐器嵌入+输出分数，直接预测实例级 EPE，在线仅增加一次前传，适合低延迟工业系统，避免 MC Dropout 的多次采样开销。
- 分群差异化策略：按活跃天数将用户分组，假设组内噪声方差相近，对低活用户高不确定项加惩罚权重（deboosting）防流失，对高活用户高不确定项加 UCB 探索奖励促多样性，可在不牺牲核心指标下同时优化留存和兴趣覆盖。
- 训练数据构造技巧：使用前一日模型检查点对次日样本计算误差，作为 EPE 的蒙特卡洛样本，既反映模型未见过数据下的泛化误差，又无需额外标注，且能利用每日生产重训流水线。
- 校准阈值与在线调参：在留出集上按分位数确定“高风险”阈值，再通过 A/B 测试调整去偏惩罚和探索权重，避免复杂曲率标定，工程实现简洁有效。